Het kasteel van Rullingen kende een rijkgevuld verleden. In de Middeleeuwen, tijdens de heerschappij van de Graven van Loon en het Prinsbisdom Luik, stond er op deze plaats een torenburcht. De gewelfde kelders en de onderbouw van het huidige kasteel zouden nog resteren uit die tijd. In de versterkte toren bevond zich een waterput die toeliet lange belegeringen te doorstaan. Deze bron voorziet ook nu nog het kasteel van eigen water.
In 1640 werd het huidige kasteel gebouwd in Maaslandse Renaissancestijl. Het behoorde toe aan de Abdij van Averbode en werd bewoond door meerdere adellijke families. Van de families Hulsburg en de Voordt ging het in de 18de eeuw over naar Baron de Zeegraede en zijn afstammelingen. In 1910 werd het kasteel en zijn omgeving eigendom van de familie Pangaert d'Opdorp. Na een brand in 1920 werd het kasteel tussen 1921 en 1935 gerestaureerd door architect P. Langerock uit Leuven, die al naam gemaakt had door verschillende andere geslaagde kasteelrenovaties. De bij het kasteel horende Haspengouwse hoeve werd onder andere door zijn toedoen vervangen door een Franse geometrische tuin.
In 1978 kocht de provincie Limburg het kasteeldomein en maakte het domein deel uit van het historische erfgoed van de Provincie Limburg. De concessie voor kasteel en jachthuis zijn sinds 1993 in handen van de vennootschap Le Château van Group GL. In 2014 werd dit Limburgs kroonjuweel verkocht aan Livaco, een vennootschap van de familie Tans.